BERT(Bidirectional Encoder Representations from Transformers)
汎用言語モデル、ELMoと同じく単語の分散表現を出力する。BERTはRNNではなくTransformerをつかう。ELMoよりも優れた分散表現を持つ。